FakeQuantWithMinMaxVars

对输入数据执行逐元素伪量化运算。该算子通过给定的最小/最大值(min_val/max_val)计算缩放因子(scale)和零点(zero_point),将浮点输入模拟量化到指定的整数范围(quant_min/quant_max),然后再将其反量化回浮点数。

\[scale = \frac{max\_val - min\_val}{quant\_max - quant\_min}\]
\[zp\_from\_min = quant\_min - \frac{min\_val}{scale}\]
\[nudge\_zp = \text{round} \left( \min \left( quant\_max, \max \left( quant\_min, zp\_from\_min \right) \right) \right)\]
\[nudge\_min = (quant\_min - nudge\_zp) \times scale\]
\[nudge\_max = (quant\_max - nudge\_zp) \times scale\]
\[output_i = \left( \text{round} \left( \frac{\text{clamp}(input_i, nudge\_min, nudge\_max) - nudge\_min}{scale} \right) \right) \times scale + nudge\_min\]

对称量化(symmetric 为 true 时):

\[max\_val = \max(-min\_val, max\_val), \quad min\_val = -max\_val\]
输入:
  • src - 输入数据地址。

  • min_val - 浮点范围的最小值。

  • max_val - 浮点范围的最大值。

  • params - 参数数组,包含以下元素:

    • params[0] - 计算长度(length)。

    • params[1] - quant_min,量化后的整数最小值(例如 0 或 -128)。

    • params[2] - quant_max,量化后的整数最大值(例如 255 或 127)。

    • params[3] - symmetric,是否使用对称量化(bool 类型)。若为 true,则范围调整为关于 0 对称。

  • core_mask(int, 可选) - 核掩码(仅适用于共享存储版本)。

输出:
  • output - 伪量化后的计算结果地址。

支持平台:

FT78NE MT7004

备注

  • FT78NE 支持:fp32 (fp)

  • MT7004 支持:fp16 (hp), fp32 (fp)

  • 该算子内部包含 “Nudge” 逻辑,即会自动调整零点(Zero Point)使其为整数,并根据调整后的零点重新计算实际使用的浮点范围(nudge_min/nudge_max)。

共享存储版本:

void fp_fake_quant_with_min_max_vars_s(float *src, float *output, float min_val, float max_val, long long *params, int core_mask)
void hp_fake_quant_with_min_max_vars_s(float16 *src, float16 *output, float16 min_val, float16 max_val, long long *params, int core_mask)

C调用示例:

 1// MT7004 示例:fp32 类型共享存储多核计算
 2#include <stdio.h>
 3#include <stdbool.h>
 4
 5int main(int argc, char* argv[]) {
 6    float *input = (float *)0x81000200;
 7    float *output = (float *)0x82000000;
 8    float min_v = -10.0f;
 9    float max_v = 10.0f;
10    int length = 1024;
11    int core_mask = 0b1011;
12    long long params[4];
13    params[0] = length;
14    params[1] = 0;       // quant_min
15    params[2] = 255;     // quant_max
16    params[3] = false;   // symmetric
17    fp_fake_quant_with_min_max_vars_s(input, output, min_v, max_v, params, core_mask);
18    return 0;
19}

私有存储版本:

void fp_fake_quant_with_min_max_vars_p(float *src, float *output, float min_val, float max_val, long long *params)
void hp_fake_quant_with_min_max_vars_p(float16 *src, float16 *output, float16 min_val, float16 max_val, long long *params)

C调用示例:

 1// MT7004 示例:fp16 (float16) 类型私有存储单核计算
 2#include <stdio.h>
 3#include <stdbool.h>
 4
 5int main(int argc, char* argv[]) {
 6    float16 *input = (float16 *)0x10030000;
 7    float16 *output = (float16 *)0x10040000;
 8    float16 min_v = fp32_to_fp16(-5.0f);
 9    float16 max_v = fp32_to_fp16(5.0f);
10    int length = 1024;
11    long long params[4];
12    params[0] = length;
13    params[1] = 0;       // quant_min
14    params[2] = 255;     // quant_max
15    params[3] = true;    // symmetric
16    hp_fake_quant_with_min_max_vars_p(input, output, min_v, max_v, params);
17    return 0;
18}